Misi Selesai! Anda telah menguasai dasar-dasar bahasa AI!Belum tepat! Mari kita coba bangun kembali urutan tersebut!Pengetahuan Diunggah: Token & Urutan ... Apakah itu ... ? ... Atau ...
Apa yang kita sebut sebagai blok kecil yang digunakan AI untuk membaca?
Benar sekali! Token adalah unit-unit kecil seperti "apel," "ing," atau "?" yang membentuk bahasa bagi AI.
Bagaimana komputer merepresentasikan token agar bisa memahaminya?
Benar! Komputer hanya memahami angka, jadi setiap token diberi nomor identifikasi unik tersendiri.
Jika kita memiliki token untuk "teman" dan "kapal," apa kata "persahabatan" disebut ketika menjadi daftar angka?
Tepat sekali! Daftar terurut dari angka token disebut sebagai urutan.
Mengapa urutan token dalam suatu urutan sangat penting?
Tepat sekali! Token yang sama dalam urutan berbeda dapat mengubah makna keseluruhan sebuah kalimat.
Berapa batas jumlah token yang dapat diproses AI sekaligus?
Anda benar! Jendela Konteks adalah batas seberapa banyak informasi yang dapat diingat AI selama percakapan.
Apakah tanda baca tunggal, seperti titik (.), bisa menjadi token?
Benar! Token bisa berupa kata utuh, bagian kata, atau bahkan tanda baca. Semua adalah blok pembangun!
1
Tokenisasi & Urutan
EvoClass-AI004Lecture 4
0
🤖 Beep Boop! Selamat datang, Kadet! Pilih sub-topik di bawah ini untuk melihat bagaimana AI "membaca" melalui tokenisasi.
Perintah Py-BotLANGSUNG
Beep Boop! Halo, Kadet! Untuk mengajarkan AI membaca, kita harus memotong kata-kata menjadi potongan kecil seperti "Lego" terlebih dahulu. Siap belajar bagaimana komputer mengubah kata menjadi angka?
Kemajuan Topik0%
Pilihan yang hebat! Token seperti balok LEGO. Kata seperti "persahabatan" dibagi menjadi bagian-bagian kecil seperti "teman" dan "kapal." Bahkan titik sederhana "." pun merupakan token! Bagi AI, bagian-bagian ini lebih mudah diolah daripada kalimat panjang utuh.
1
Sub-Topik 1
Apa Itu Token?
Memotong teks menjadi blok pembangun kecil seperti "teman" dan "kapal."
Lihat ini! Setelah kita memiliki token, AI memberi masing-masingnya nomor ID rahasia. Angka-angka ini membentuk "Urutan." Ingat: urutan sangat penting! "Anjing menggigit manusia" dan "Manusia menggigit anjing" menggunakan blok yang sama, tetapi urutan memberi cerita yang sangat berbeda!
2
Sub-Topik 2
Kekuatan Urutan
Mengubah blok menjadi daftar matematis di mana urutan adalah segalanya.
Tahukah Anda? AI memiliki "Jendela Konteks," yang seperti ukuran tangannya. Ia hanya bisa menyimpan jumlah token tertentu dalam "pikirannya" sekaligus sebelum mulai lupa awalnya!
Tahukah Anda?
AI memiliki "Jendela Konteks," yang seperti ukuran tangannya. Ia hanya bisa menyimpan jumlah token tertentu dalam "pikirannya" sekaligus sebelum mulai lupa awalnya!
Memuat...
⭐⭐⭐

Misi Selesai!

Anda adalah Ahli Token!